多模式信息在医疗任务中经常可用。通过结合来自多个来源的信息，临床医生可以做出更准确的判断。近年来，在临床实践中使用了多种成像技术进行视网膜分析：2D眼底照片，3D光学相干断层扫描（OCT）和3D OCT血管造影等。我们的论文研究了基于深度学习的三种多模式信息融合策略，以求解视网膜视网膜分析任务：早期融合，中间融合和分层融合。常用的早期和中间融合很简单，但不能完全利用模式之间的互补信息。我们开发了一种分层融合方法，该方法着重于将网络多个维度的特征组合在一起，并探索模式之间的相关性。这些方法分别用于使用公共伽马数据集（Felcus Photophs和OCT）以及Plexelite 9000（Carl Zeis Meditec Inc.）的私人数据集，将这些方法应用于青光眼和糖尿病性视网膜病变分类。我们的分层融合方法在病例中表现最好，并为更好的临床诊断铺平了道路。
translated by 谷歌翻译
纵向成像能够捕获静态解剖结构和疾病进展的动态变化，向早期和更好的患者特异性病理学管理。但是，检测糖尿病性视网膜病（DR）的常规方法很少利用纵向信息来改善DR分析。在这项工作中，我们调查了利用纵向诊断目的的纵向性质利用自我监督学习的好处。我们比较了不同的纵向自学学习（LSSL）方法，以模拟从纵向视网膜颜色眼底照片（CFP）进行疾病进展，以便使用一对连续考试来检测早期的DR严重性变化。实验是在有或没有那些经过训练的编码器（LSSL）的纵向DR筛选数据集上进行的，该数据集充当纵向借口任务。结果对于基线（从头开始训练）的AUC为0.875，AUC为0.96（95％CI：0.9593-0.9655 DELONG测试），使用p值<2.2e-16，在早期融合上使用简单的重置式结构，使用冷冻的LSSL重量，这表明LSSL潜在空间可以编码DR进程的动态。
translated by 谷歌翻译
干眼症（DED）的患病率为5％至50％，是眼科医生咨询的主要原因之一。 DED的诊断和定量通常依赖于通过缝隙灯 - 检查的眼表面分析。但是，评估是主观的且不可再生的。为了改善诊断，我们建议1）使用考试期间获得的视频记录在3D中跟踪眼表面，以及2）使用注册框架对严重程度进行评分。我们的注册方法使用无监督的图像到深度学习。这些方法从灯光和阴影中学习深度，并根据深度图估算姿势。但是，DED考试经历尚未解决的挑战，包括移动的光源，透明的眼组织等。为了克服这些挑战，我们为这些挑战并估算了自我动机，我们实施了联合CNN体系结构，具有多种损失，包括先前的已知信息，即通过眼睛的形状，即通过语义分割以及球体拟合。所达到的跟踪误差优于最先进的，其平均欧几里得距离低至我们的测试集中图像宽度的0.48％。该注册将DED严重性分类提高了0.20 AUC差异。拟议的方法是第一个通过单眼视频监督来解决DED诊断的方法
translated by 谷歌翻译
小儿肌肉骨骼系统的临床诊断依赖于医学成像检查的分析。在医学图像处理管道中，使用深度学习算法的语义分割使人可以自动生成患者特定的三维解剖模型，这对于形态学评估至关重要。但是，小儿成像资源的稀缺性可能导致单个深层分割模型的准确性和泛化性能降低。在这项研究中，我们建议设计一个新型的多任务多任务多域学习框架，在该框架中，单个分割网络对由解剖学的不同部分产生的多个数据集进行了优化。与以前的方法不同，我们同时考虑多个强度域和分割任务来克服小儿数据的固有稀缺性，同时利用成像数据集之间的共享特征。为了进一步提高概括能力，我们从自然图像分类中采用了转移学习方案，以及旨在在共享表示中促进域特异性群集的多尺度对比正则化，以及多连接解剖学先验来执行解剖学上一致的预测。我们评估了使用脚踝，膝盖和肩关节的三个稀缺和小儿成像数据集进行骨分割的贡献。我们的结果表明，所提出的方法在骰子指标中的表现优于个人，转移和共享分割方案，并具有统计学上足够的利润。拟议的模型为智能使用成像资源和更好地管理小儿肌肉骨骼疾病提供了新的观点。
translated by 谷歌翻译
在图像登记中，许多努力已经致力于开发流行的标准化互信息标准的替代方案。同时对这些努力，越来越多的作品已经证明了登记准确性的大量收益也可以通过对准图像的结构表示而不是图像本身来实现的。在这条研究路径之后，我们提出了一种基于从诸如梯度矢量流场的结构信息的正则化矢量字段的对准来提出一种新方法，如梯度向量流字段，我们调用\ Texit {Vector Field Mettionity}。我们的方法可以通过将矢量字段相似与基于强度的注册的替换方法相似，以直接的方式与任何现有的登记框架组合。在我们的实验中，我们表明所提出的方法在几个公共图像数据集上使用多样性的成像方式和解剖位置对几个公共图像数据集进行了比较。
translated by 谷歌翻译
儿科肌肉骨骼系统的形态学和诊断评价在临床实践中至关重要。但是，大多数分段模型在稀缺的儿科成像数据上都不好。我们提出了一种新的预训练的正则化卷积编码器 - 解码器，用于分割异质儿科磁共振（MR）图像的具有挑战性的任务。在这方面，我们采用转移学习方法以及正规化策略来改善分段模型的概括。为此，我们已经构思了用于分割网络的新颖优化方案，其包括丢失函数的额外正则化术语。为了获得全局一致的预测，我们纳入了基于形状的正则化，从自动编码器学习的非线性形状表示来源。另外，通过鉴别器计算的对抗正规化是集成的，以鼓励合理的描绘。评估来自脚踝和肩部关节的两个稀缺的小儿摄像数据集的多骨分割任务的方法，包括病理和健康检查。所提出的方法与先前提出的骰子，灵敏度，特异性，最大对称表面距离，平均对称表面距离和相对绝对体积差异度量的方法更好或以前的方法进行更好或以前的方法进行比例。我们说明所提出的方法可以很容易地集成到各种骨骼分割策略中，并且可以提高在大型非医学图像数据库上预先培训的模型的预测准确性。获得的结果为小儿肌肉骨骼障碍的管理带来了新的视角。
translated by 谷歌翻译